Chùa Bà Ngô nằm bên bờ đê sông Hoàng Long, cổng chùa hướng mặt ra sông nhưng các dãy nhà của chùa thì lại quay theo hướng song song với bờ đê. Vị trí của chùa nằm gần bến đò Trường Yên và di tích núi Cắm Gươm, nơi gắn với giai thoại rồng vàng chở Đinh Bộ Lĩnh từ phía Gia Viễn sang huyện Hoa Lư và gây dựng sự nghiệp đế vương.

Trong các ngôi chùa cổ ở cố đô Hoa Lư, chùa Bà Ngô là ngôi chùa nằm độc lập, tách biệt khỏi khu dân cư. Khung cảnh chùa khá yên bình núp dưới những tán lá cây xanh mướt.

Trong Hoa Lư thi tập, tác giả Hoàng Quang Thuận viết về chùa Bà Ngô như sau:

Bà Ngô chùa đá thời vua Đinh[9]Trị thủy Hoàng long được cột kinhBát giác hình dài khắc Hán tưDâng chùa kinh Phật vẫn còn linh.Quạnh quẽ am xưa ánh dương tà [10]Phong quang thay đổi tiếng quạ xaNgọc Am chùa báu sương mờ lạnhCây ổi trước chùa đã đơm hoa.